آموزش دریاچه داده در AWS - ساده ترین راه برای یادگیری [2023]

سرفصل ها و درس ها

معرفی Introduction

• مقدمه ای بر دریاچه داده Introduction to Data Lake

• منابع قابل دانلود Downloadable Resources

• سرعت یادگیری را افزایش دهید Increase the speed of learning

• ذخیره سازی، مصرف داده ها و مهاجرت به دریاچه داده Storage, Data Ingestion and Migration to a Data Lake

• کاتالوگ داده و مرداب داده Data Catalog and Data Swamp

• فرمت های داده محبوب Popular Data Formats

• تبدیل داده ها Data Transformation

• برای پرسش و پاسخ زنده - هر ماه به ما بپیوندید! Join us for the Live Q&A - Every Month!

• مصاحبه Udemy - شیرجه عمیق به گواهینامه های AWS Udemy Interview - A Deep Dive Into AWS Certifications

پرس و جو و تجزیه و تحلیل Querying and Analytics

• ابزارهای پرس و جو و تجزیه و تحلیل در محل In-place Querying and Analytics Tools

• جریان در مقابل تجزیه و تحلیل دسته ای Streaming vs. Batch Analysis

• Kinesis - پردازش و تجزیه و تحلیل داده های جریان Kinesis - Process and Analyze Streaming Data

آزمایشگاه - حساب AWS و تنظیمات کاربر Lab - AWS Account and User Setup

• تنظیمات حساب Account Setup

• آزمایشگاه - راه اندازی حساب AWS، پیشنهادات ردیف رایگان، صورتحساب، پشتیبانی Lab - AWS Account Setup, Free Tier Offers, Billing, Support

• آزمایشگاه - هشدارهای صورتحساب، دسترسی نمایندگان Lab - Billing Alerts, Delegate Access

• آزمایشگاه - کاربر IAM را پیکربندی کنید Lab - Configure IAM User

نظارت، بهینه سازی و امنیت Monitoring, Optimization and Security

• نظارت و بهینه سازی Monitoring and Optimization

• آزمایشگاه S3 S3 Labs

• آزمایشگاه - کلاس های ذخیره سازی S3 Lab - S3 Storage Classes

• رمزگذاری داده ها Data Encryption

• امنیت و حفاظت Security and Protection

• آزمایشگاه - نسخه S3 Lab - S3 Versioning

• آزمایشگاه - حفظ مبتنی بر سن (مدیریت چرخه زندگی) Lab - Age Based Retention (Lifecycle Management)

• آزمایشگاه - طبقه بندی ذخیره سازی (مدیریت چرخه زندگی) Lab - Storage Tiering (Lifecycle Management)

• آزمایشگاه - تکرار (برای بازیابی فاجعه) Lab - Replication (for disaster recovery)

• آزمایشگاه - رمزگذاری با SSE-S3 و KMS Lab - Encryption with SSE-S3 and KMS

آزمایشگاه - کاتالوگ داده و پرس و جو در محل Lab - Data Catalog and In-place Querying

• کد منبع دانلود Source Code Download

• دستورالعمل های آزمایشگاه - کاتالوگ داده های چسب Lab Instructions - Glue Data Catalog

• آزمایشگاه - کاتالوگ داده های چسب Lab - Glue Data Catalog

• دستورالعمل های آزمایشگاه - پرس و جو در محل آتنا Lab Instructions – Athena In-place Querying

• آزمایشگاه - پرس و جو در محل آتنا Lab - Athena In-place Querying

• آزمایشگاه - بررسی مشتریان آمازون پرس و جو در محل Lab - Amazon Customer Review In-place Querying

ETL را با اسپارک آپاچی بچسبانید Glue ETL with Apache Spark

• منابع قابل دانلود Downloadable Resources

• مقدمه خدمات و مقایسه ETL مدیریت شده با چسب Introduction Glue Managed ETL Service and Comparison

• آزمایشگاه - با استفاده از ویرایشگر ویژوال به قالب پارکت تبدیل کنید Lab - Convert to Parquet Format using Visual Editor

• داده های رتبه بندی دانشگاه - بررسی اجمالی تجزیه و تحلیل University Rankings Data - Analysis Overview

• آزمایشگاه - LazySerDe و مسائل Lab - LazySerDe and Issues

• آزمایشگاه - OpenCSVSerDe و مسائل Lab - OpenCSVSerDe and Issues

• آزمایشگاه - پاکسازی در زمان پرس و جو (Extract، Load، و سپس Transform) Lab - Cleanup at Query Time (Extract, Load, and then Transform)

• آزمایشگاه - پنهان کردن پیچیدگی پرس و جو با نماها Lab - Hide Query Complexity with Views

• آزمایشگاه - آپاچی اسپارک ETL Lab - Apache Spark ETL

• آزمایشگاه های تجسم QuickSight QuickSight Visualization Labs

• آزمایشگاه - نحوه ثبت نام برای آزمایشی 30 روزه QuickSight Lab - How to Signup for QuickSight 30-day Trial

• آزمایشگاه - تجسم QuickSight Lab - QuickSight Visualization

• آزمایشگاه - نحوه لغو اشتراک QuickSight Lab - How to Cancel QuickSight Subscription

• تبدیل شدن به یک استاد SQL: آموزش چالش LeetCode Becoming a SQL Master: LeetCode Challenge Tutorials

تکامل طرحواره Schema Evolution

• منابع قابل دانلود Downloadable Resources

• چگونه فایل های PARQUET ایجاد کنیم؟ How to create PARQUET files?

• مدیریت تغییرات طرحواره با فرمت CSV Handling Schema Changes with CSV Format

• مدیریت تغییرات طرحواره با فرمت PARQUET Handling Schema Changes with PARQUET Format

• آزمایشگاه - تغییرات طرحواره با CSV Lab - Schema changes with CSV

• آزمایشگاه - تغییرات طرحواره با PARQUET Lab - Schema changes with PARQUET

• بهترین روش های سازماندهی داده ها - ساختار پوشه، پارتیشن ها، طبقه بندی Data Organization Best Practices - Folder Structure, Partitions, Classification

• آزمایشگاه - ایجاد و نگهداری جداول پارتیشن بندی شده Lab - Partitioned Table Creation and Maintenance

• آزمایشگاه - نگهداری کاتالوگ دستی Lab - Manual Catalog Maintenance

• آزمایشگاه - پارتیشن بندی سازگار با کندو Lab - Hive Compatible Partitioning

آزمایشگاه - تحلیل احساسات بررسی مشتریان Lab - Customer Review Sentiment Analysis

• تحلیل احساسات بازبینی مشتری Customer Review Sentiment Analysis

• آزمایشگاه - خدمات هوش مصنوعی برای تجزیه و تحلیل متن را درک کنید Lab - Comprehend AI Service for Text Analysis

• آزمایشگاه - نمونه نوت بوک SageMaker Lab - SageMaker Notebook Instance

• منابع قابل دانلود Downloadable Resources

• آزمایشگاه - تنظیم کد منبع Lab - Source Code Setup

• آزمایشگاه - مقدمه پایتون Lab - Python Introduction

• آزمایشگاه - احساس بررسی مشتری Lab - Sentiment of Customer Review

• آزمایشگاه - بررسی پرس و جو توسط احساسات Lab - Query Review By Sentiment

آزمایشگاه - برنامه بدون سرور با Kinesis Firehose، Lambda، Comprehend AI، Glue، Lab - Serverless Application with Kinesis Firehose, Lambda, Comprehend AI, Glue,

• مصرف جریانی داده Streaming Data Consumption

• برنامه بدون سرور برای تحلیل احساسات بازبینی مشتری Serverless Application for Customer Review Sentiment Analysis

• تغییرات رابط کاربری Lambda Lambda UI Changes

• بخش 1 آزمایشگاه - برنامه بررسی مشتری بدون سرور Lab Part 1 - Serverless Customer Review Application

• بخش 2 آزمایشگاه - برنامه بررسی مشتری بدون سرور Lab Part 2 - Serverless Customer Review Application

نتیجه Conclusion

• تبریک می گویم! Congratulations!

اختیاری: چرا رایانش ابری؟ Optional: Why Cloud Computing?

• AWS Cloud Computing و Global Infrastructure AWS Cloud Computing and Global Infrastructure

• منابع قابل دانلود Downloadable Resources

• مجموع هزینه مالکیت بین On-premises و Cloud Total Cost of Ownership between On-premises and Cloud

• مزایای رایانش ابری Benefits of Cloud Computing

• زیرساخت جهانی AWS AWS Global Infrastructure